NLP

Transformer

Transformer基本概念

所謂Transformer是指基於EDmodel，加上自我注意力機制(Self Attentin, SATT)一種深度學習模式。它完全放棄了RNN家族的架構，另外建立了一個新的深度學習架構，Transformer利用了自我注意力機制，來取代了相對複雜，序列性、速度慢、計算耗時的RNN架構，這在深度學習上是相當偉大的發明，其後來也證明在NLP的許多任務中，Transformer的績效都好過RNN系列的Model。

自我注意力機制(SATT)

所謂SATT就是指，利用源端的注意力機制(Source Attention)、目標端的注意力機制(Target Attention)、源端目標端交叉注意力機制(Cross Attention)等三種ATT來擷取與輸出豐富的語音資訊，並在生成輸出時，快速正確的掌握詞與詞之間應該焦距對齊的各種關鍵訊息的一種注意力機制。
1.源端的注意力機制(Source Attention)
指在輸入端能計算自己內部的詞與詞之間的Attention來捕捉輸入內部訊息之間的依賴關係，以及對於句子中的每個字都平行獨立的去測量，其與輸入句子中其他個字的關聯性大小，而賦予不同權重的一種注意力機制。

2.目標端的注意力機制(Target Attention)
指輸出的目標端，計算自己的Attention並捕捉輸出內部各個詞與詞的關係與重要性的一種注意力機制。例如:我過馬路來到對面街口。的這段目標端，每個詞與其他詞彼此間關係與重要性大小，例如馬路和街口。
3.源端目標端交叉注意力機制(Cross Attention)
這是原來傳統Eencoder跟Decoder訊息的ATT，捕捉的是輸入序列每個詞，與輸出序列每個詞之間的對應性與依賴關係、自我注意力機制，也因為比原來傳統機制多了兩個注意力，因此掌握更多語意訊息。

Transfomrer的應用

Transformer在2017問世後，由於其處處襖現優於2014的RNN，因此逐漸成為NLP的主流模式，也因為Transformer的出現，產生了一個跨時代的強大語言模型(Language Model)的「BERT」。Transformer常被用於預訓練模型，期經過為調後，可以快速、有效的支援NLP的大部分應用，例如下列:

• 機器翻譯:由SATT來學習，兩種不同語言之間、輸入句子的詞與詞之間的三種對應關係，來快速執行語言的翻譯。

• 文本摘要:由SA的三個ATT來學習，一個長文本的句子中，如何濃縮對應，要用哪幾個重要的短片詞來代表這個長文本，而不失去原來重要的訊息。

• QA系統:由SA的三個ATT來學習，每個Q中那些最重要的關鍵詞，來聚焦對應答案集或文本中的相關答案。

• 語音辨識:由SA的三個ATT來學習，每個不同語音訊號，應對應哪個文字。

• Chatbot:由SA來學習對話中，針對使用者輸入的句子，來專注找出其最對應的意圖或者最相關的服務訊息。

• 情緒分析:由SA來學習，如何只注意哪些詞，是與情緒有關。

參考資料
人工智慧-概念應用與管理 林東清 著